package com.fwmagic.spark.core.action

import org.apache.spark.{SparkConf, SparkContext}

/**
  * 遍历获取数据集中每一个分区
  */
object ForeachPartitionDemo {
    def main(args: Array[String]): Unit = {
        val conf = new SparkConf()
                .setAppName(this.getClass.getSimpleName)
                .setMaster("local[1]")

        val sc = new SparkContext(conf)

        val rdd1 = sc.makeRDD(1 to 10,3)

        rdd1.foreachPartition(it => {
            println("====> 一个分区打印一次，一般用于创建数据库链接！")
            it.foreach(e => println(e))
        })

        sc.stop()
    }
}
